Khi Lehzen bị đuổi khỏi triều đình, bà trở về cố hương Đức và sống ở Bückeburg. Bà sống cùng chị gái bằng số tiền trợ cấp rộng lượng do Victoria ban cho, khoản tiền hàng năm là 800 bảng.[39][43] Bà gắn đầy trên các bức tường của ngôi nhà mình bằng các bức chân dung của Nữ vương.[39] Chị gái bà qua đời vài tháng sau đó,[3] Nữ Nam tước vẫn tiếp tục hỗ trợ tài chính cho nhiều đứa cháu họ của mình.[50] Lehzen tiếp tục dành cho Victoria nhiều tình cảm, Nữ vương thường xuyên viết thư cho cựu Giáo sư của mình, ban đầu mỗi tuần và sau đó mỗi tháng theo thỉnh cầu của Lehzen.[43] Khi có dịp đến thăm họ hàng ở Đức, Nữ vương đã đến thăm riêng Lehzen hai lần. Nữ Nam tước Lehzen qua đời tại Bückeburg vào ngày 9 tháng 9 năm 1870,[3][45] bà được an táng tại nghĩa trang Jetenburger. Victoria của Anh đã ra lệnh dựng cho bà một đài tưởng niệm. Sau cái chết của Lehzen, Nữ vương đã thổ lộ lòng biết ơn đối về mối quan hệ của họ, nhưng nói rằng: "Sau khi ta thượng vị, bà ấy đã phải nỗ lực hơn, đặc biệt sau khi ta kết hôn... [Đó không phải] bắt nguồn từ chủ ý xấu xa nào, chỉ là một ý niệm sai lầm về nghĩa vụ và tình cảm dành cho ta."[43]

Trong thời gian ở tại triều đình, Lehzen thu hút sự chú ý từ bên ngoài vì mối quan hệ thân thiết với Victoria của Anh. Bà bị chỉ trích vì sự ảnh hưởng của mình lên Nữ vương, đặc biệt là từ những người không thích sự có mặt của Đức tại triều đình. Một số sách tuyên truyền của đảng Tory[51] than phiền về việc có "người lạ ẩn náu ở nước ta" và "những cố vấn độc ác" xung quanh Victoria.[52] Một ấn phẩm đặc biệt được xuất bản như một văn thư dự đoán về Nữ Nam tước Lehzen, trong đó nói rằng "một người đàn bà ngoại quốc nào đó đã giật dây cho một âm mưu hiểm độc mà Lady Flora là nạn nhân đầu tiên", nhằm ám chỉ đến vụ ngoại tình của Flora Hastings.[51] Do ít nhiều ảnh hưởng đến chính trị, vào năm 1838, có một số tin đồn sai lệch cho rằng Lehzen đã "được cải" sang đảng Whig và bà được đề nghị "một hôn sự cấp bách" bởi Thủ tướng Whig Viscount Melbourne.[53] Bất chấp tất cả những lời chỉ trích, nhà sử học Gillian Gill nêu lên sự thanh liêm giản dị của Lehzen ngay cả sau khi Victoria lên ngôi, bà gần như không đòi hỏi gì về tiền bạc hay địa vị, thay vào đó chỉ muốn được chung sống cùng Nữ vương.[54]

Nhà sử học K. D. Reynold nói thêm rằng Lehzen là người có ảnh hưởng lớn đến tính cách và sự phát triển tinh thần của Victoria, đặc biệt là đã mang đến cho Nữ vương sức mạnh ý chí để trưởng thành qua thời thơ ấu và giai đoạn đầu trị vì.[3] Tuy nhiên, không phải tất cả những ảnh hưởng của bà đều tích cực; Reynold cũng suy đoán rằng cuộc khủng hoảng Bedchamber năm 1839 xuất phát một phần từ việc Victoria không muốn mất đi Lehzen.[3]